بهبود به‌روزرسانی پایگاه داده تحلیلی نیمه‌آنی

Authors

Abstract:

Near-real time data warehouse gives the end users the essential information to achieve appropriate decisions. Whatever the data are fresher in it, the decision would have a better result either. To achieve a fresh and up-to-date data, the changes happened in the side of source must be added to the data warehouse with little delay. For this reason, they should be transformed in to the data warehouse format. One of the famous algorithms in this area is called X-HYBRIDJOIN. In this algorithm the data characteristics of real word have been used to speed up the join operation. This algorithm keeps some partitions, which have more uses, in the main memory. In the proposed algorithm in this paper, disk-based relation is joined with input data stream. The aim of such join is to enrich stream. The proposed algorithm uses clustered index for disk-based relation and join attribute. Moreover, it is assumed that the join attribute is exclusive throughout the relation. This algorithm has improved the mentioned algorithm in two stages. At the first stage, some records of source table which are frequently accessible are detected. Detection of such records is carried out during the algorithm implementation. The mechanism is in the way that each record access is counted by a counter and if it becomes more than the determined threshold, then it is considered as the frequently used record and placed in the hash table. The hash table is used to keep the frequently used records in the main memory. When the stream is going to enter in to join area, it is searched in this table. At the second stage, the choice method of the partition which is going to load in the main memory has been changed. One dimensional array is used to choose the mentioned partition. This array helps to select a partition of source table with highest number of records for the join among all partitions of source table. Using this array in each iteration, always leads to choose the best partition loading in memory. To compare the usefulness of the suggested algorithm some experiments have been done. Experimental results show that the service rate acquired in suggested algorithm is more than the existing algorithms. Service rate is the number of joined records in a time unit. Increasing service rate causes the effectiveness of the algorithm.

Upgrade to premium to download articles

Sign up to access the full text

Already have an account?login

similar resources

بهبود عبارت نگهداری دید در پایگاه داده تحلیلی

در پایگاه داده تحلیلی برای پاسخگویی سریع به پرس و جوهای تحلیلی کاربران، پاسخ تعدادی از پرس و جوها را ذخیره می نمایند. پاسخ پرس و جوهایی که در پایگاه داده تحلیلی ذخیره می شوند، منجر به تولید دیدهای ذخیره شده می گردد. مساله بروز رسانی و نگهداری از دیدها در پایگاه داده تحلیلی زمانی مطرح می گردد که داده ها در منابع داده پایه بوسیله تراکنش های مختلف مورد تغییر قرار گیرند. برای نگهداری از دیدها در پا...

full text

بهبود فرآیند استخراج، تبدیل و بارگذاری در پایگاه داده تحلیلی با کمک پردازش موازی

Abstract Data Warehouses are used to store data in a structure that facilitates data analysis. The process of Extracting, Transforming, and Loading (ETL) covers the process of retrieving required data from the source system and loading them to the data warehouse. Although the structure of source data (e.g. ER model) and DW (e.g. star schema) are usually specified, there is a clear lack of a ...

full text

مدلی سه‌لایه‌ای در طراحی سطح منطقی پایگاه داده تحلیلی

پایگاه‌های داده عملیاتی و سیستم‌های پردازش تراکنشی برخط ساختارهای مناسبی برای نگهداری و جمع‌آوری اطلاعات هستند، اما چالش این ساختارها چگونگی استفاده و تفسیر این اطلاعات است. یک پایگاه داده تحلیلی، منبع داده‌ای است که داده‌ها را از سیستم‌ها و منابع اطلاعاتی دیگر مانند پایگاه داده‌های عملیاتی، سیستم کاربران و ... جمع‌آوری می‌کند و پس از همگن و یکپارچه‌سازی، به‌صورت چندبعدی دسته‌بندی و ذخیره می‌کن...

full text

مقایسه ساختارهای داده در پایگاه داده تحلیلی و ارائه ساختار داده بهبود یافته

پایگاه های داده تحلیلی، مبتنی بر مدل داده چندبعدی هستند. این مدل، داده را به شکل یک مکعب داده می بیند. اجزای اصلی مکعب داده، واقعیت ها و ابعاد هستند. معماری یک پایگاه داده تحلیلی شامل سه لایه می باشد. در لایه میانی، سرویس دهنده های پردازش تحلیلی برخط قرار دارند. یکی از مدل هایی که یک سرویس دهنده پردازش تحلیلی برخط می تواند با آن پیاده سازی شود، مدل پردازش تحلیلی برخط رابطه ای است. این مدل برای ...

15 صفحه اول

بهبود فرآیند استخراج، تبدیل و بارگذاری در پایگاه داده تحلیلی با کمک پردازش موازی

پایگاه داده تحلیلی جهت نگهداری داده ها با ساختاری مناسب برای تحلیل بکار می رود. فرآیند استخراج، تبدیل و بارگذاری عبارت است از تبدیل بعضی از داده های منبع به فرم مناسب، و انتقال آن ها به پایگاه داده تحلیلی که شامل سه مرحله کلی استخراج، تبدیل و بارگذاری داده است. در طی این مراحل، داده ها از یک یا چند پایگاه داده منبع به یک پایگاه داده تحلیلی منتقل می شوند. معمولا ساختار منبع داده (مدل رابطه ای و....

full text

سامانه مدیریت پایگاه داده

سامانه مدیریت پایگاه داده (DBMS) از مجموعه داده ‏هاى مرتبط و مجموعه برنامه ‏هاى کامپیوترى براى دسترسى به آن داده‏ ها تشکیل شده است. به مجموع داده ‏ها معمولاً پایگاه داده گفته مى‏ شود و مجموعه برنامه‏ ها معمولاً مدیریت پایگاه داده نامیده مى‏ شود. به علت اهمیت اطلاعات در همه طرحها در تمامى سطوح پایگاه داده یک منبع با ارزش محسوب مى‏ شود. از این رو مفاهیم و اصول آن نیاز به بسط و توسعه دارد. هدف این م...

full text

My Resources

Save resource for easier access later

Save to my library Already added to my library

{@ msg_add @}


Journal title

volume 15  issue 2

pages  31- 44

publication date 2018-09

By following a journal you will be notified via email when a new issue of this journal is published.

Keywords

No Keywords

Hosted on Doprax cloud platform doprax.com

copyright © 2015-2023